<!DOCTYPE html>
<html lang="zh-cmn-Hans" prefix="og: http://ogp.me/ns#" class="han-init">
<head>
  <meta charset="utf-8">
  <meta charset="utf-8">
  <meta http-equiv="X-UA-Compatible" content="IE=edge">
  <meta name="viewport" content="width=device-width, initial-scale=1, maximum-scale=1" />
  <link rel="icon" href="http://upeng.github.io/favicon.ico">
  <title>upeng</title>
  <link rel="stylesheet" href="/css/style.css">
  <link rel="stylesheet" href="/lib/fancybox/jquery.fancybox-1.3.4.css">
  <!--在这里倒入jquery 方便处理部分页面的jquery-->
  <script src="https://cdn.staticfile.org/jquery/1.7/jquery.min.js" type="text/javascript" ></script>
</head>

<body>
	<header class="site-header navfixed-false">
  <div class="container">
      <h1><a href="/" title="upeng"><span class="octicon octicon-mark-github"></span> upeng</a></h1>
      <nav class="site-header-nav" role="navigation">
        
              
              <a href="/"  class=" site-header-nav-item hvr-underline-from-center" title="Home">Home</a>
        
              
              <a href="/categories/"  class=" site-header-nav-item hvr-underline-from-center" title="Categories">Categories</a>
        
              
              <a href="/bookmark/"  class=" site-header-nav-item hvr-underline-from-center" title="Bookmark">Bookmark</a>
        
              
              <a href="http://shareup.sinaapp.com"  class=" site-header-nav-item hvr-underline-from-center" title="Share">Share</a>
        
              
              <a href="/about/"  class=" site-header-nav-item hvr-underline-from-center" title="About">About</a>
        
      </nav>
  </div>
</header>

	
<section class="collection-head geopattern" data-pattern-id="MCQ学习笔记" >
    <div class="container">
        <div class="collection-title">
            <h1 class="collection-header">
                MCQ学习笔记
            </h1>
            
                <div class="collection-info">
                    <span class="meta-info">
                        <span class="octicon octicon-calendar"></span>
                        <time datetime="2016-07-11T15:29:55.000Z" itemprop="datePublished">2016-07-11</time>
                    </span>
                    
                        <span class="meta-info">
                            <span class="octicon octicon-file-directory"></span>
                            <a href='/categories/乱炖/' title=''>乱炖</a>
                        </span>
                    
                </div>
            
        </div>
    </div>
</section>
	<section class="container">
    <div class="columns">
        <!-- -->
        <div class="column three-fourths">
            <article class="article-content markdown-body">
                <p>初次接触MCQ源于蓝v，之前也听同事说微博的消息推送也是使用MCQ。认识MCQ之前感觉它很神秘，用之后才发现并也不过如此，所以很多知识不能只凭想象或者言传，需要自身实践才可知晓。这里想记录一下自己使用MCQ的过程，以及MCQ的使用场景、优缺点等等。</p>
<blockquote>
<p>MemcacheQ - Simple Queue Service over Memcache<br>在memcache基础上的简单队列服务，所以它兼具memcache和队列的特点。</p>
</blockquote>
<a id="more"></a>
<h2 id="Features-特性"><a href="#Features-特性" class="headerlink" title="Features[特性]"></a>Features[特性]</h2><ul>
<li>damn simple（炒鸡简单)</li>
<li>very fast（非常快）-&gt; 给予memcache,在内存中操作</li>
<li>multiple queue（多队列)</li>
<li>concurrent well（并发good)</li>
<li>memcache protocol compatible（兼容memcache协议)</li>
</ul>
<p>memcacheq(MCQ)是轻量级的消息队列，依赖于Berkeley DB和libevent。Berkeley DB用于持久化存储队列数据，避免MCQ宕机数据丢失。</p>
<h2 id="使用场景"><a href="#使用场景" class="headerlink" title="使用场景"></a>使用场景</h2><blockquote>
<p>高并发，数据可以弱一致性（弱一致性？）。</p>
</blockquote>
<p>蓝v后台沿用之前橙v逻辑（数据量大，并发高），也使用了MCQ。在高并发，大数据量的情况下，请求过多会发生阻塞，试想，在这种情况下，如果大量请求同时对mysql进行增删改，则会产生很大行锁（InnoDB）或表锁（Myisam）;请求堆积过多还可能会出现too many connections的错误。使用了MCQ，可以异步处理，怎么异步法？请求在不断的往队列塞（入队列），队列也不断地去消费这些请求（出队列），当然消费能力也是在mysql能力范围之内的，为啥？【思考缓冲作用】二者就处于异步状态。</p>
<p>支持多队列，比如我们创建了队列A，B，C，他们可以同时工作，其实这也体现了并发异步的特性。</p>
<h2 id="使用方法"><a href="#使用方法" class="headerlink" title="使用方法"></a>使用方法</h2><p>因为MCQ是基于memcached开发，所以可以使用memcached的命令对它进行各种操作；客户端比如php可以像操作memcacheq那样操作MCQ</p>
<h3 id="启动MCQ"><a href="#启动MCQ" class="headerlink" title="启动MCQ"></a>启动MCQ</h3><p><code>/usr/local/memcacheq/bin/memcacheq -d -r 1024 -l 127.0.0.1 -p 22201 -u root</code></p>
<p><strong>参数说明</strong><br><code>-d</code> 以守护进程方式运行<br><code>-r</code> 最大化核心文件限制<br><code>-l</code> 监听网卡<br><code>-p</code> TCP监听端口<br><code>-u</code> 以（root）身份运行</p>
<h3 id="最常用的mcq命令：set和get"><a href="#最常用的mcq命令：set和get" class="headerlink" title="最常用的mcq命令：set和get"></a>最常用的mcq命令：set和get</h3><pre><code>telnet 127.0.0.1 22201 ....

set testqueue 0 0 3    //队列添加一条消息
xxx
STORED

set testqueue 0 0 5
xxxxx
STORED

stats queue
STAT testqueue 2/0

get testqueue
VALUE testqueue 0 3
xxx
END

stats queue
STAT testqueue 2/1
</code></pre><p><strong>注意</strong>：mcq没有expire time这个标记，是因为mcq支持数据持久化（Berkeley DB）。另外mcq存储长度length有限制（蓝v踩到的坑），之前同步前台用户认证申请材料至后台，因为材料增多，导致参数长度增加，超过了mcq的消息长度的限制：limit ? 后面分析查明</p>
<blockquote>
<p>MCQ和Redis的比较</p>
</blockquote>
<p><strong>memcacheq</strong></p>
<ul>
<li>数据保存在内存中，速度快</li>
<li>支持数据持久化</li>
<li>队列长度限制小</li>
<li>与memcache兼容</li>
<li>与memcached是两个独立服务，如同时使用需要分别安装</li>
</ul>
<p><strong>Redis</strong></p>
<ul>
<li>数据保存在内存中，速度快</li>
<li>支持数据持久化</li>
<li>队列长度限制小</li>
<li>支持多种数据类型</li>
<li>同时可以做为缓存来使用</li>
</ul>
<p>自己思考一下，在项目中MCQ和Redis各自的使用场景</p>
<p>后续阅读文章<br><a href="https://www.ibm.com/developerworks/cn/linux/l-ipc/" target="_blank" rel="external">深刻理解Linux进程间通信（IPC）</a><br><a href="http://blog.buaa.us/talk-about-mq/" target="_blank" rel="external">可靠消息队列浅谈</a><br><a href="http://www.fireflies.me/tag/%E6%B6%88%E6%81%AF%E9%98%9F%E5%88%97/" target="_blank" rel="external">MemcacheQ分析</a></p>

            </article>
            
                <div class="share">
                    <!--开启分享-->
<div class="share-component" data-disabled="google,twitter,facebook" data-description="初次接触MCQ源于蓝v，之前也听同事说微博的消息推送也..."></div>

<script src="/js/share.min.js"></script>

                </div>    
            
            
                
<div class="comments">
	<div class="ds-thread" data-thread-key="memcacheq" data-title="MCQ学习笔记" data-url="http://upeng.github.io/2016/07/11/memcacheq/"></div>
	<script type="text/javascript">
	var duoshuoQuery = {short_name:"upeng"};
		(function() {
			var ds = document.createElement('script');
			ds.type = 'text/javascript';ds.async = true;
			ds.src = (document.location.protocol == 'https:' ? 'https:' : 'http:') + '//static.duoshuo.com/embed.js';
			ds.charset = 'UTF-8';
			(document.getElementsByTagName('head')[0]
			 || document.getElementsByTagName('body')[0]).appendChild(ds);
		})();
	</script>
</div>

            
        </div>
        <div class="column one-fourth">
            
                
                


<h3>Post Directory</h3>

<div id="post-directory-module">
	<section class="post-directory">
		<p><strong class="toc-title">文章目录</strong></p>
		<ol class="toc"><li class="toc-item toc-level-2"><a class="toc-link" href="#Features-特性"><span class="toc-text">Features[特性]</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#使用场景"><span class="toc-text">使用场景</span></a></li><li class="toc-item toc-level-2"><a class="toc-link" href="#使用方法"><span class="toc-text">使用方法</span></a><ol class="toc-child"><li class="toc-item toc-level-3"><a class="toc-link" href="#启动MCQ"><span class="toc-text">启动MCQ</span></a></li><li class="toc-item toc-level-3"><a class="toc-link" href="#最常用的mcq命令：set和get"><span class="toc-text">最常用的mcq命令：set和get</span></a></li></ol></li></ol>
	</section>
</div>
            
        </div>
    </div>
</section>

<footer class="container">
    <div class="site-footer" role="contentinfo">
        <div class="copyright left mobile-block">
                © 2016
                <span title="yupeng">yupeng</span>
                <a href="javascript:window.scrollTo(0,0)" class="right mobile-visible">TOP</a>
        </div>

        <ul class="site-footer-links right mobile-hidden">
            <li>
                <a href="javascript:window.scrollTo(0,0)" >TOP</a>
            </li>
        </ul>

        <a href="https://github.com/upeng" target="_blank" aria-label="view source code">
            <span class="mega-octicon octicon-mark-github" title="GitHub"></span>
        </a>

        <ul class="site-footer-links mobile-hidden">
            
                  
                  <li>
                    <a href="/"  title="Home">Home</a>
                  </li>
            
                  
                  <li>
                    <a href="/categories/"  title="Categories">Categories</a>
                  </li>
            
                  
                  <li>
                    <a href="/bookmark/"  title="Bookmark">Bookmark</a>
                  </li>
            
                  
                  <li>
                    <a href="http://shareup.sinaapp.com"  title="Share">Share</a>
                  </li>
            
                  
                  <li>
                    <a href="/about/"  title="About">About</a>
                  </li>
            
            <li>
                <a href="/atom.xml">
                    <span class="octicon octicon-rss" style="color:orange;"></span>
                </a>
            </li>
        </ul>
    </div>
</footer>


		<script src="/js/geopattern.js"></script>

		
			<script src="/js/toc.js"></script>
		

		<script src="/js/highlight.pack.js"></script>
		<script src="/lib/fancybox/jquery.fancybox-1.3.4.pack.js"></script>

		<script src="/js/index.js"></script>

		 <script src="/js/popular_repo.js"></script> 

	</body>
</html>